Day5 LLM Fine-Tuning
https://speakerdeck.com/schulta/llm-fine-tuning-dong-da-song-wei-yan-llmjiang-zuo-day5zi-liao
大規模言語モデルのFine-Tuning
Instruction Tuning (slide=16)
Finetuned Language Models Are Zero-Shot Learners
で提案（FLAN）
指示・回答という形式に統一したデータセット
データ例：
https://huggingface.co/datasets/conceptofmind/flan2021_submix_original
（404）
有効性
Zero-shot性能の向上（FLAN論文）
指示応答性能の向上
Alpaca: A Strong, Replicable Instruction-Following Model
👉
ichikara-instruction
（と気づいた！）
TODO：ここから先は積ん読
Parameter Efficient Fine-Tuning